Một lực lượng tình nguyện viên quân sự của những người định cư da trắng do Cecil Rhodes tổ chức mang tên Pioneer Column thành lập thành phố vào ngày 12 tháng 9 năm 1890, khi đó có vị thế là một pháo đài.[5] Ban đầu, họ đặt tên cho thành phố là Pháo đài Salisbury theo Thủ tướng Anh Quốc đương thời là Đệ tam hầu tước Robert Gascoyne-Cecil xứ Salisbury, sau đó rút gọn còn Salisbury. Câu lạc bộ Polo Salisbury được thành lập vào năm 1896.[6] Khu vực được tuyên bố là một đô thị vào năm 1897 và trở thành một thành phố vào năm 1935.

Khi thành lập thành phố, khu vực thoát nước kém và phát triển sớm nhất là trên vùng đất dốc dọc theo bờ tả của một dòng chảy mà nay là một tuyến đường. Khu vực đầu tiên được tiêu nước hoàn toàn nằm gần đầu nguồn của dòng chảy và được đặt tên là Causeway. Khu vực này là nơi có nhiều tòa nhà chính phủ tối quan trọng, trong đó có tòa nhà Hạ viện và Văn phòng Thủ tướng.

Salisbury là thủ đô của Liên bang Rhodesia và Nyasaland từ năm 1953 đến năm 1963. Sau thời điểm đó, nó là thủ đô của Nam Rhodesia. Chính phủ của Ian Smith tuyên bố Rhodesia độc lập từ Anh Quốc vào ngày 11 tháng 11 năm 1965, và tuyên bố nước Cộng hòa Rhodesia vào năm 1970. Đến năm 1980, quốc gia này được quốc tế công nhận độc lập với tên gọi là nước Cộng hòa Zimbabwe.

Tên gọi thành phố được đổi sang Harare vào ngày 18 tháng 4 năm 1982, nhân dịp kỷ niệm hai năm Zimbabwe độc lập, lấy theo tên của ngôi làng nằm gần Harare Kopje của tù trưởng Shona Neharawa.[7] Trước khi độc lập, "Harare" là tên gọi của khu vực dân cư da đen mà nay gọi là Mbare.

Vào đầu thế kỷ 21, Harare chịu ảnh hưởng tiêu cực từ khủng hoàng chính trị và kinh tế trên toàn Zimbabwe. Economist Intelligence Unit xếp Harare là thành phố khó sống nhất trên thế giới trong số 140 được khảo sát vào tháng 2 năm 2011,[8] thành phố đứng ở hạng 137/140 trong tháng 8 năm 2012.[9]